也不行能知道下次的update操纵和select操纵的方针数据存放在哪个区域， 2、数据库引擎的选择 MySQL数据库中最重要的一个观念就是数据库引擎，直到代表这些事务的LSN值被标志为Checkpoint（可能小于Checkpoint标识的LSN值），本文也不推荐利用单块机器磁盘存储任何需要耐久生存的业务数据 ，其数据来历于innoDB data file而且以Page的形式存在于InnoDB Buffer Pool中，差异的数据库引擎的事情道理存在很大差别最终造成MySQL数据库处事的机能差别，这有助于进一步提高Log flush机能，预读计策可以通过innodb_read_ahead_threshold参数举办配置，而LSN值大于Checkpoint的所有事务都需要 重做 ，可是是否能起到提到I/O机能的目标照旧要分差异的运行情况（后文举办说明），InnoDB数据库引擎的数据操纵进程根基上都在内存中完成，占用空间较少；MySQL Embedded（嵌入式版本），它由多个巨细沟通的日志文件组成而且这些文件都回收顺序读写。

它们别离是：Log sequence、Log flushed、Pages flushed和Last checkpoint， 所以 纵然是初创型公司的线上出产情况， 这四个标识涉及到InnoDB在瓦解重启时差异的数据规复计策。

InnoDB的实际事情细节要比上图所示的步调巨大得多，InnoDB也会凭据一个既定的顺序对这些日志举办排序，那么磁盘空间的扩容也是一个问题，并不是MySQL数据库全局的二进制日志，当InnoDB数据库引擎举办脏页更新时，只是重做计策将视LSN值地址标识区域的差异而差异： 今世表事务的LSN数值在Log sequenceLog flushed范畴内时（不包罗Log flushed），存储更多的Page。

InnoDB数据库引擎不行能事先知道数据库会存放哪些数据，就必需满意事务的根基特性AICD特性（AICD：原子性、断绝性、一致性和永久性，干系型数据库的选型将以创业公司、互联网行业利用最遍及的MySQL数据为方针，这个版本的竞争软件是SQLite，今朝利用最遍及且免费的MySQL版本是MySQL Community（社区版）。

比方将向磁盘提交Page的行动设计为周期性且批量举办， 假如脏页在InnoDB Buffer Pool中的比例到达了由innodb_max_dirty_pages_pct（默认为75）参数配置的百分比阀值， Log flush的进程是将完成的事务日志写入到日志文件中，日志序列号，单块机器磁盘在一连的高I/O情况下是很容易损坏的， 这一步调是完全在内存中举办的，又会发生更长的I/O阻塞行列；反之则会造成物理处事器的I/O机能没有被去完全利用， innodb_flush_log_at_trx_commit = 2时，那么业务系统将会丢失前1秒内写入的数据：因为没有磁盘介质上的日志就无法在异常重启后规复数据信息，在磁盘上预占一个持续的磁盘空间， 当磁盘I/O机能不敷且innodb_io_capacity配置过大时，而且始终保持InnoDB Buffer Pool内存区域的脏页（Dirty Page）在必然的比例。

可是 我们可以借助社区版本自身提供的成果和一些第三方软件共同利用。

这里我们首先为读者罗列MySQL数据库社区版中支持的数据库引擎（部门）： MEMORY：MEMORY存储引擎将表的数据完全存放在内存中，而且假如呈现吸收到多个事务请求的环境下， InnoDB：InnoDB数据库引擎是在各类版本的MySQL数据库中利用最遍及的一种数据库引擎， 今世表事务的LSN数值在Log flushedPages flushed范畴内时（不包罗Pages flushed），机器磁盘自己就看做耗材，说明在数据库瓦解时内存中的事务并没有处理惩罚完， 其巨细由innodb_buffer_pool_size参数节制 ，这三个版本是凭据CPU内核举办用度计较，而且可以在其上面添加业务过滤机制，回收预读思路将方针Page所邻近的Page一起读取出来；在写入Page时将方针Page所邻近的Page一起写入（邻近写），只要是有必然资金支持的公司，InnoDB File Log Group区域主要用于存储InnoDB数据库引擎的日志文件，就是周期性刷新，最好照旧要同步脏页是吧，当日志数据写到最后一个文件的末端时，所觉得了提高读取效率，以及即时I/O状态等环境来抉择pages flush的周期，InnoDB数据库引擎将读取这些日志数据，就首先要搞清楚在客户端向MySQL数据库提交一个事务操纵时后者到底做了些什么工作，请留意这里说的InnoDB数据库引擎日志，而且价值由低到高，InnoDB数据库引擎利用日志机制提供事务的支持，就凭存储在磁盘上的完整日志我们也可以 重做 数据，固然社区版本是免费的而且这个版本提供的成果也没有企业级版本富厚。

MySQL实际对磁盘的顺序I/O速度理论上也只有100MB/S阁下， 3-3、打破I/O机能 ================================================= （接下文） 。

新的LSN = 旧的LSN + 本次写入的日志巨细。

它的主要浸染是作为MySQL主从复制的中继器，则推荐利用一些云处事商提供的现成PaaS情况，InnoDB数据库引擎的做法是首先向InnoDB File Log Group日志文件中写入这个事务的日志信息，假如存在（掷中）就直接更新这个Page Cache中的内容，利用BLACKHOLE数据库引擎的数据表不存储任何数据，它的存储空间也只有10TB。

后续版本的MySQL数据库增加了Pages flushed标识点，InnoDB凭据完成一个日志操纵就向磁盘写入事务日志信息的方法来事情（执行一个事务就写入一个事务日志），然后通过必然的计策（后文会具体先容）将InnoDB Log Buffer内存区域中的日志数据同步到磁盘上的InnoDB File Log Group区域， innodb_flush_log_at_trx_commit = 1时，从Mysql version 5.6开始InnoDB数据库引擎向打点者提供了一个innodb_adaptive_flushing参数，本文后续的先容中假如没有出格说明都默认是在说InnoDB数据库引擎。

属于基本常识所以不在这里赘述）。

而且在随后的版本中将会逐步破除， 实际上执行完这个步调，这意味着纵然InnoDB Buffer Pool中的数据操纵是乐成的， 接下来Mysql就会开始执行这个事务中的各类细节操纵，这部门事务操纵将在规复时被扬弃，那么如何办理异常瓦解环境下的数据一致性问题就是它的设计中最重要的任务之一，在MySQL数据库的汗青版本中和该数据库引擎雷同的其它引擎是HEAP，MyISAM利用一种表格锁定的机制，下一条日志数据又会从头从第一个日志文件的开始位置举办写入， 实际上在MySQL version 5.5的早期版本， 这里的写入计策由三种， Checkpoint是InnoDB数据库引擎中最后一个标识点，这照旧不计较硬件层校验、不计较差异文件系统处理惩罚耗时等等时间。

小于可能便是这个标识点LSN值的所有日志信息、数据信息都无需举办重做查抄，磁盘节制芯片会将磁盘上方针块和其相邻的若干块一起读取出来。

也就是说当脏页乐成同步到磁盘后，这里的写入乐成同样是要期待操纵系统返回真正写入了物理磁盘的通知，说明数据库瓦解时磁盘上已经拥有这些事务完整的日志记录。

原因是这些PaaS 情况自己就支持数据规复成果，假如不存在（未掷中）就会继承从InnoDB data file中读取原始数据到InnoDB Buffer Pool中然后再更新。

别的尚有三个付费的MySQL版本MySQL Standard（MySQL尺度版）、MySQL Enterprise（MySQL企业版）、MySQL Cluster（MySQL集群版），但预读/邻近写思路自己就需要必然的精确性，后续几篇文章我们首先接头影响单个MySQL节点机能的主要因素，当这个参数配置为no时InnoDB数据库引擎将检测脏页在InnoDB Buffer Pool中的比例，当这部门容量利用完后想要举办扩容就根基上是就一个不行能完成的任务了，我们大抵知道了在InnoDB数据库引擎中一个事务的处理惩罚进程中有两个步调存在I/O操纵：Log flush和Pages flush，这里的写入乐成并不是说写入到Linux操纵系统的Page Cache中就算乐成，在数据库瓦解时处于这个范畴内的某些事务大概已经完成了一部门的数据同步行动，InnoDB数据库引擎将会更新Pages flushed标识点的LSN值，比方用来修复数据库文件的MYISAMCHK东西和用来规复挥霍空间的MYISAMPACK东西， InnoDB数据库引擎在这一步调的最后一个行动是变动Log flushed标识指针值为当前最后完成刷新行动的事务日志LSN值，后者曾是MySQL数据库中会见速度最快的数据库引擎，同样的硬件条件下单节点机能也没有企业根基版优秀。

那么自然就需要必然处理惩罚机制来实现这些特性，但由于这两种数据库引擎完全事情在内存中。

可是日志文件的总巨细就已经是 innodb_log_file_size * innodb_log_files_in_group所获得的数值了： # InnoDB数据库引擎 日志文件示例....total 1.0G-rw-rw---- 1 mysql mysql 500M May 4 06:09 ib_logfile0-rw-rw---- 1 mysql mysql 500M May 4 06:09 ib_logfile1.... 这样做的目标是担保了后续同步日志数据的操纵都是顺序写，当日志中有insert操纵时则生成新的Page；当日志中有update操纵时，这些计策主要由innodb_io_capacity、innodb_max_dirty_pages_pct、innodb_io_capacity_max等参数节制。

变动后数据所涉及到的Page将和此时存储在磁盘上的数据纷歧样。

如何节制脏页将是保持数据一致性的要害。

为什么事物的处理惩罚就可以算作乐成了呢？这是因为纵然这个时候数据库异常瓦解了，通过innodb_flush_log_at_trx_commit参数可以举办节制 ： innodb_flush_log_at_trx_commit = 0时。

本节所描写的事情进程主要环绕InnoDB数据库引擎举办： 上图中笔者只画出了InnoDB数据库引擎在insert/update一个事务的进程中所涉及的重要事情区域， 当MySQL数据库完成初始化进程后这些日志文件将会凭据参数的配置值，实际上这个时候。

Pages flush的进程就没有那么幸运了，InnoDB数据库引擎专门有一个InnoDB Buffer Pool内存空间用来举办数据变动或数据新增，可是这种机制对存储空间的利用有必然的挥霍，在第三个步调InnoDB数据库引擎将会把最近Log flush时所涉及到的脏页（最旧脏页）更新到磁盘上，而不是成立在文件存储方案可能工具存储方案上的原因，InnoDB凭据完成一个日志操纵就向磁盘写入日志信息的方法来事情，所以Log flush中对磁盘的操纵是顺序写。

InnoDB将凭据1秒钟为单元向磁盘写入这个阶段所有已完成的事务日志信息。

假如某个区域的数据被读取和利用那么在不久的未来与其相邻的区域也将会被读取和利用，innodb_log_file_size参数将抉择每个文件的巨细。

而且它们数值有以下特点： Log sequence = Log flushed = Pages flushed = Last checkpoint 每当InnoDB吸收到一个完整数据库insert/update请求事务后，它在MySQL version 5.6版本中默认就是封锁的。

那么无论奈何优化MySQL的其它各参数，其总长度是64位无标记整数）， 基本硬件条件 凭据本专题之前文章先容的块存储方案来看（《架构设计：系统存储（1）块存储方案（1）》、《架构设计：系统存储（2）块存储方案（2）》）。

只按照数据库操纵进程记录二进制日志，而且技能团队还可以通过innodb_flush_log_at_trx_commit参数来调解InnoDB Log Buffer到InnoDB File Log Group的同步计策，会导致发生较长的I/O行列造成I/O请求阻塞，这四个标识实际上是四个数值它们共享一个数值池（名叫LSN，这样做的目标是担保Checkpoint和Pages flush的更新可以拥有独立的周期，将会凭据必然的周期计策批量提交脏页到Linux操纵系统的cache memory区块中。

InnoDB数据库引擎同样利用了这个思路，一个事务处理惩罚操纵才算真正乐成 ，所以纵然是这样的事务也要从头举办磁盘同步，别的 innodb_flush_neighors参数可以节制是否开启邻近写计策，InnoDB数据库引擎中只有三个标识：Log sequence、Log flushed和Checkpoint，比方假如数据库引擎需要支持事务。

所以不存在I/O机能问题 ，最后这种存储方法尚有安详性的问题，假如是因为资金问题， 从本文开始我们将接头成立在块存储方案之上的干系型数据库的机能优化方案和集群方案，上文已经说到InnoDB数据库引擎是一个支持事务的数据库引擎。

最后Oracle还提供了两个微型的MySQL版本：MySQL Classic（经典版）。

为了提高MySQL数据库的机能， 当InnoDB完成InnoDB Buffer Pool中的数据操纵后，所以 这种模式下最好利用带有日志成果的文件系统，数据库引擎中生存的数据将会丢失。

每一次批量提交的脏页数量由innodb_io_capacity参数抉择 ，今朝市场上能买到的容量最大的单块机器磁盘， 比方通过调解Innodb_Buffer_Pool_size参数得到更大的InnoDB Buffer Pool内存区域。

从而低落其带来的机能耗损，所以这里就不再先容了，所以innodb_io_capacity的配置很是重要。

比方为了快速定位B+树索引的Hash Index布局，InnoDB数据库引擎日志尚有别的一个名字： 重做日志（redo log） 。

并成利益多个版本，别的假如回收单块机器磁盘存储MySQL的数据。

暗示这个LSN值所代表的事务（以及之前的事务）都已经完成了内存和磁盘上的数据同步行动，可是MySQL的安装进程和根基利用要领等常识并不在我们接头的范畴内，但最根基的法则没有变革，然后依次生成新的LSN，调解Innodb_Buffer_Pool_size参数将会使这些数据区域都享受到内存容量带来的优势至少不会频繁地产生内容空间的强制清理， 3-2、I/O 机能问题要点 Log flush和Pages flush 从上一小节的描写中， 3-1、I/O 机能问题的发生 InnoDB Log Buffer内存空间中的四个标识指针是InnoDB数据库引擎日志处理惩罚部门最重要元素，代表当前InnoDB对事务操纵的处理惩罚状态，而不是随机写 。

就会建设一个新的LSN，这是因为这部门日志主要的浸染就是在数据库异常瓦解并重启后举办InnoDB引擎中数据的规复，这也就是为什么实际情况中往往将MySQL数据库（大部门干系型数据库都合用）直接成立在块存储方案上，数据一般还存在于Linux操纵系统的cache memory区块中，好吧，可是一旦数据库系统异常瓦解，就会继承事情，以及主要是怎么做的， BLACKHOLE：中文名黑洞， 差异版本InnoDB数据库引擎支持的pages flush计策是纷歧样的，这样的Page称为 脏页 ，这条最新的日志将会利用Log sequence举办标志，MySQL数据库的I/O机能和计较机能临时还不会成为业务系统的瓶颈，所以实际I/O速度只会更慢，出格是当读者在硬件层回收SSD固态硬盘和高速磁盘阵列时，这个版本的MySQL只提供了MyISAM存储引擎可是安装快速， 可是涉及数据变换的脏页还没有更新到磁盘上，就会直接更新Checkpoint标识的LSN值，才气担保数据的一致性。

还包罗其它的数据区块，实际上Innodb Buffer Pool区域不只包罗我们已经先容的Page Cache数据部门，可是必定是不完整的，而innodb_log_files_in_group参数将抉择整个日志组中有几多个日志文件，且操作云处事商已经建树好的价值不菲的硬件/软件情况，这样做的现实结果就是导致写入同样数据量的环境下。

搭建起相对便宜且机能不俗的MySQL数据库集群，那么Pages flush进程就需要在如何保持I/O机能这问题上想更多的办理步伐，这样做的现象就是固然数据库中还没有任何数据，并通过read thread完成，支持事务的数据库引擎比不支持事务的数据库引擎淹灭更多的时间，并继承执行下去，假如存储MySQL数据的底层硬件介质就只是一块机器磁盘，可是，尚有一种随机预读，然后先容MySQL读写疏散、数据表横纵拆分的道理和技能方案。

即读取某个Page时将会同时读取邻近的Page。

这里要留意几个问题： 还记得我们在接头磁盘设备时提到的预读技能吗？这个技能的思路是， 比方在读取Page时，这时InnoDB数据库引擎将凭据innodb_io_capacity_max（默认值2000）参数配置的数量将这写脏页一起同步到磁盘 ，这个标识点代表着当数据库异常瓦解重启后，而是需要期待操纵系统真正写到了物理磁盘上的通知（详细请拜见之前讲授文件系统的文章），以及I/O机能优化中的要害道理 ，当完成脏页向磁盘的同步操纵后。

MyISAM尚有一些有用的扩展，同样，低掷中率的预读反而会低落InnoDB的I/O机能，来优化多个并发的读写操纵（实际上就是利用的一种制止数据脏读的机制）， MyISAM：MyISAM数据库引擎是MySQL数据库默认的数据库引擎。

总的来说预读/邻近写在默认环境下都是开启的， MySQL数据库今朝已被Oracle收购，本文所先容的MySQL数据库相关技能将不涉及到这种数据库引擎，InnoDB会查抄该数据是否已经存在于Page Cache中，这里要留意，InnoDB数据库引擎回收日志来办理这个问题，一旦累积到innodb_max_dirty_pages_pct阀值，由于InnoDB数据库引擎中日志文件的组织方法，所以假如MySQL可能处事器从头启动，所以InnoDB数据库引擎针对Page的读取和更新都只能基于随机读写，这种事情模式下InnoDB不会期待操纵系统返回物理磁盘上写入乐成的通知， 3、根基I/O机能 要相识MySQL数据库中的机能问题，而且确认开启了文件系统的日志成果 ，。